เมื่อจบการศึกษาจากสหรัฐอเมริกานายกฤษฎาก็ได้เข้ารับราชการในกระทรวงการคลังจนกระทั่งได้เป็นรองผู้อำนวยการสำนักงานเศรษฐกิจการคลัง ก่อนจะมีพระบรมราชโองการโปรดเกล้าฯ แต่งตั้งให้เป็น ที่ปรึกษาด้านเศรษฐกิจการเงิน (เศรษฐกรทรงคุณวุฒิ) สำนักงานเศรษฐกิจการคลัง เมื่อวันที่ 19 กันยายน พ.ศ. 2554[1]

ต่อมา คณะรักษาความสงบแห่งชาติ ได้มีคำสั่งให้นายกฤษฎาดำรงตำแหน่ง ผู้อำนวยการ สำนักงานเศรษฐกิจการคลัง แทนนาย สมชัย สัจจพงษ์ ที่โยกไปดำรงตำแหน่งอธิบดีกรมศุลกากรเมื่อวันที่ 4 กรกฎาคม พ.ศ. 2557[2] จากนั้นในวันที่ 1 ตุลาคม พ.ศ. 2560 ได้มีพระราชโองการโปรดเกล้าฯ แต่งตั้งนายกฤษฎาให้เป็นอธิบดี กรมสรรพสามิต[3] แทนนาย สมชาย พูลสวัสดิ์ ที่เกษียณอายุราชการ

ในวันที่ 1 ตุลาคม พ.ศ. 2561 ได้มีพระราชโองการโปรดเกล้าฯ ให้นายกฤษฎาดำรงตำแหน่งอธิบดี กรมศุลกากร[4] แทนนาย กุลิศ สมบัติศิริ ที่โอนไปรับราชการในตำแหน่ง ปลัดกระทรวงพลังงาน ต่อมาในการประชุมคณะรัฐมนตรีเมื่อวันอังคารที่ 18 สิงหาคม พ.ศ. 2563 ที่ประชุมมีมติให้นายกฤษฎาดำรงตำแหน่งปลัดกระทรวงการคลังสืบแทนนาย ประสงค์ พูนธเนศ ปลัดกระทรวงการคลังที่เกษียณอายุราชการเมื่อวันที่ 30 กันยายน พ.ศ. 2563 [5]